Deep Learning
Les réseaux de neurones, du simple perceptron aux transformeurs modernes : comment la profondeur, les bonnes fonctions d'activation et l'entraînement par gradient permettent à un modèle d'apprendre ses propres caractéristiques au lieu de les concevoir à la main.
Prérequis : le cours Machine Learning, en particulier Réseaux de neurones multi-couches, qui construit le modèle et couvre les pertes et la rétropropagation utilisées tout au long de ce cours. Python de base, calcul différentiel et algèbre linéaire.
Programme
- Introduction
- Fonctions d'activation
- Optimisation
- Entraîner les réseaux profonds
- Réseaux convolutifs
- Plongements et apprentissage de représentations
- Réseaux récurrents
- LSTM et GRU
- Attention
- Transformeurs